使用想象中的视觉图像的脑信号重建图像可以为残疾人提供增强视觉,从而推动脑机接口 (BCI) 技术的进步。深度学习的最新进展推动了使用生成对抗网络 (GAN) 从脑信号合成图像的研究领域。在这项工作中,我们提出了一个框架,用于使用小型 EEG 数据集从脑电图 (EEG) 记录的大脑活动合成图像。当受试者要求可视化某类物体和英文字符时,使用 EEG 从受试者的头部头皮记录这种大脑活动。我们在提出的框架中使用对比学习方法从 EEG 信号中提取特征,并使用条件 GAN 从提取的特征合成图像。我们修改了损失函数来训练 GAN,使其能够使用少量图像合成 128 × 128 的图像。此外,我们进行了消融研究和实验,以证明我们提出的框架相对于使用小型 EEG 数据集的其他最先进方法的有效性。
主要关键词